Giám mục Giuse Lê Văn Ẩn sinh ngày 10 tháng 9 năm 1916 tại giáo xứ Thác Đá Hạ, Bồng Sơn, nay thuộc phường Hoài Đức, thị xã Hoài Nhơn, tỉnh Bình Định, thuộc Giáo phận Qui Nhơn.[8] Ông là con thứ 11 (áp út) trong một gia đình khá đông con gồm 9 trai và 3 gái.[9][10]

Cha ông là ông Lê Đồ, người từng tháp tùng Giám mục Đông Đàng Trong (Quy Nhơn) Cuénot (Thể) trong thời gian cấm đạo gắt gao dưới triều Tự Đức. Mẹ ông là bà Đào Thị Sự.[8] Cả hai người đều thuộc dòng dõi các thánh tử đạo Việt Nam và đều từ theo con đường tu trì Công giáo (ông Lê Đồ là cựu chủng sinh trong khi bà Đào Thị Sự là cựu nữ tu).[9][11][12] Song thân ông đều là hai người sống sót duy nhất trong gia đình họ khi các gia đình Công giáo bị tàn sát vào năm 1885 tại Bồng Sơn, thuộc Giáo phận Qui Nhơn. Thân phụ ông thực hiện vai trò giáo lý viên, tham gia truyền đạo Công giáo ở Kon Tum, còn thân mẫu ông thoát chết khỏi vụ tàn sát khi còn là một đứa trẻ, được một gia đình không Công giáo cứu giúp.[13]

Năm lên 13 tuổi, tức năm 1929, cậu bé Lê Văn Ấn được gia đình cho nhập học tại Tiểu chủng viện của Địa phận Quy Nhơn ở Làng Sông (tỉnh Bình Định).[8] Khoảng năm 1935 hoặc 1936, Lê Văn Ấn nhập học tại Đại chủng viện Quy Nhơn.[10] Năm 1938, chủng sinh Lê Văn Ấn ông được Giám mục Tardieu chọn đi du học tại Trường Propagande Roma (Trường Truyền giáo Rôma).[8][11]